为了解决多失真图像的质量预测偏差问题,根据视觉生理心理学研究中人类大脑初级视皮层(V1)神经元细胞对视觉信息处理的过程,提出了一种无参考立体图像质量评价方法。首先对失真立体图像对进行Gabor滤波,构造了基于双目神经元响应的V1区模拟刺激模型;其次通过离散余弦变换(DCT)和去均值对比度归一化(MSCN),分别提取了失真立体图像对的DCT域和空间域的自然场景统计特征;最后采用支持向量回归(SVR)算法,建立了所提取特征和主观评价值间的映射关系,进而构建了预测立体图像质量的客观评价模型。基于公开数据库对所提模型进行了验证和对比。结果表明,所提方法可统一预测单失真和多失真立体图像的感知质量,比现有评价方法的性能更优。

立体图像的视觉变焦优化是近年来图像处理和计算机视觉领域热门的基础研究问题。3D图像的变焦视觉增强技术越来越受到关注。为此，本文从相机变焦拍摄的模型出发，提出一种基于网格形变的立体变焦视觉优化方法，力求提高3D立体视觉的体验。首先利用数字变焦方法模拟相机模型对目标区域进行适当的视觉放大，然后根据相机变焦距离建立起参考图像与目标图像之间的映射关系，并提取前景目标对象，接着使用改进型深度恰可察觉深度模型来引导目标对象的自适应深度调整。最后结合本文所设计的七个网格优化能量项，对图像网格进行优化，以提高该目标对象的视觉感，并确保整幅立体图像的良好视觉体验效果。与现有的数字变焦方法相比，所提出的方法在图像目标对象的尺寸控制方面和目标对象的深度调整方面都具有更好的效果。

针对现有基于深度学习的SAR辅助下光学图像去云方法对光学图像纹理、光谱信息考虑不足,导致去云后影像往往存在模糊、光谱损失等现象,根据杭州市余杭区哨兵一号(Sentinel-1)和哨兵二号(Sentinel-2)卫星影像,构建了SAR辅助下光学图像去云数据库,并充分考虑光学遥感图像的细节、纹理以及色彩信息,建立了基于条件生成对抗网络(conditional generative adversarial network, cGAN)的SAR辅助下的光学遥感图像去云模型,实现了SAR辅助下光学图像薄云、雾、厚云等覆盖下地物信息的有效复原与重建。实验结果表明,所提方法可有效实现SAR辅助下的光学图像去云,相比于其他方法具有更优性能。

三维全景给用户提供360°视角的同时给人以强烈的三维立体真实感,虽然近年来研究人员开发了大量的算法来检测二维及三维图像中的显著区域,但针对立体全景图像显著性检测的研究较少。考虑到全景图像的投影特点、立方体投影(CMP)图像有助于消除顶部与底部引起的扭曲及边框效果,利用等矩形投影(ERP)图像中所有可用的上下文信息,以ERP作为全局信息、CMP作为局部信息,融合了全局和局部的视觉显著图。提出的立体全景显著性检测模型由颜色相似度算法和区域对比度算法两部分组成。首先,对图像进行多尺度线性迭代聚类超像素分割,根据像素块的颜色差异得到颜色对比特征图;然后依据空间分布紧凑性计算区域对比度;根据颜色对比特征和区域对比度特征得到图像显著图。通过结合赤道偏移并且融入深度信息得到最终的立体全景显著图。最后,将所得结果在公开的立体全景图像数据库ODI中进行了对比验证,实验结果表明,所提方法得到的显著结果具有较高的准确率、召回率和F-measure值,其综合性能优于6种经典的显著预测算法。所提模型既能够充分利用图像信息,又能有效地抑制复杂的背景区域,可得到更加符合视觉感知的显著图。

针对传统红外与可见光图像融合方法存在融合图像场景对比度低、热红外目标不明显、细节与纹理不够清晰的问题,提出了一种基于多尺度低秩分解的红外图像与可见光图像融合方法。该方法通过多尺度低秩分解,将红外图像、可见光图像分别分解为多层次局部低秩图(显著图)和全局低秩图;充分考虑分解图像特点,有针对性地设计最优融合规则,有效融合红外和可见光图像的互补信息;基于融合规则重构融合图像。基于公开数据集进行实验验证。结果表明,本文所提方法能够生成目标清晰、细节丰富的融合图像,相比于其他方法,具有更好的视觉效果和融合精度。

对视网膜血管形态特征的分析有助于视网膜相关疾病的诊断。为了能够更准确地分割出视网膜血管,提出一种基于双流网络的分割视网膜血管的方法。首先用具有编码器-解码器结构的卷积神经网络分别对整个血管和细血管进行分割;再将所得到的两个预测图进行融合,对融合后的图像去除伪影和噪声,得到最终的血管分割图。由于单独对细血管进行了分割,因此所提方法可以更有效地分割出一些难以识别的视网膜血管边缘和低对比度区域的细血管像素。实验结果表明,所提方法在DRIVE、STARE和CHASE_DB1三个数据库上的灵敏度分别达到0.8062、0.8308和0.8135,在性能上比其他方法更优。

颜色传递是近年来图像处理和计算机视觉领域的热门研究问题，随着立体图像技术的发展，对于立体图像的颜色传递越来越受关注。本文提出一种双目立体图像的颜色传递方法，在完成颜色传递的同时力求提升用户的观看体验。根据用户实际需求，可以对目标对象进行颜色传递，而保持背景的颜色不改变。在本文提出的方法中，由用户指定图像对象，然后用图割的方法进行图像分割，根据所选对象与目标图像颜色特征的多元高斯模型匹配完成颜色传递。为了进一步增强观看效果，本文在颜色传递的同时进行非线性视差优化，从而提高目标对象的深度感。本文从不同立体图像库中随机选取图像进行实验，实验结果表明，本文方法中颜色传递和视差优化的结合，可以很好地提升立体图像的观看体验。

为了更好地设计和评估图像拼接算法,提出一种面向颜色校正的拼接图像质量评价方法。该方法利用现有的颜色校正算法和拼接算法建立了含有5种色差的拼接图像库;分别从拼接前图像序列和拼接图像中提取4个特征,将4个特征进行融合后,通过支持向量回归算法建立特征与质量之间的关系模型,预测色差拼接图像质量。实验结果表明,所提方法可以有效评估色差拼接图像的质量。

针对建筑物检测特定应用,提出一种基于稀疏表示的失真立体图像全参考质量评价方法。首先构建了一种新的失真卫星立体图像数据库,使用角点检测和数字表面模型的高程信息进行建筑物检测,并根据失真图像检测角点变化,提出检测准确率指标来表示图像的失真程度;然后提出一种基于稀疏表示的客观评价模型,其分别提取原始图像和失真图像的尺度不变特征转换和二进制稳健不变尺度特征进行字典学习;利用稀疏表示测量原始图像和失真图像之间的相似性,得到4个质量分数;最后通过支持向量回归融合4个质量分数得到最终的客观评价值。在构建的数据库上进行测试,实验结果表明,皮尔逊线性相关系数值高于0.90,斯皮尔曼等级相关系数值高于0.87,与现有的评价方法相比,所提方法能更好地反映卫星立体图像的质量。

为了更好地实现图像的对比度增强,提出了一种基于图像检索的对比度增强模型。利用图像检索技术检索到与待增强图像内容相似的高质量图像作为参考图像指导图像增强。通过结合上下文相关、上下文不相关,以及亮度调整等增强方法,利用待增强图像及检索到的参考图像之间的美学特征、图像熵来指导求解多准则优化问题,并通过质量约束得到最终的增强图像。其中:上下文相关增强方法利用滤波器进行非锐化掩模,实现边缘增强;上下文不相关增强方法基于Sigmod函数进行映射变换,以符合人眼视觉感受;亮度调整增强方法先将图像进行自适应亮度均衡处理,然后进行对比度限制的自适应直方图均衡变换。实验结果表明,所提模型可以有效调整图像的对比度,与其他方法相比效果更好。